02. 常量权重

2 常量权重 V1

思考

QUESTION:

如何更好地定义初始权重,使反向传播能够区分权重行为?

ANSWER:

一定要体现唯一性,或随机性!从指定范围内随机选择权重可能效果更好。通过指定全部唯一的不同权重值,我们能够确保反向传播在隐藏层级中将看到不同的激活参数,并且能够对这些差异做出响应。